我们定义了一个新颖的神经符号框架,论证奖励学习,该奖励学习将基于偏好的论点与现有方法结合了从人类反馈中加强学习的方法。我们的方法通过概括人类的偏好,减轻用户的负担并增加奖励模型的鲁棒性来改善先前的工作。我们通过许多实验证明了这一点。
translated by 谷歌翻译
反事实解释(CFXS)的使用是机器学习模型越来越流行的解释策略。但是,最近的研究表明,这些解释可能对基础模型的变化(例如,在重新培训之后)的变化可能并不强大,这引发了有关其在现实世界应用中的可靠性的问题。现有的解决此问题的尝试是启发式方法,仅使用少量的重新培训模型来评估所得CFXS的模型变化的鲁棒性,未能提供详尽的保证。为了解决这个问题,我们提出了第一个概念,以正式和确定性地评估神经网络的CFX的鲁棒性(建模更改),我们称为{\ delta} - bubustness。我们引入了基于间隔神经网络的抽象框架,以验证CFXS的{\ delta} - 固定性,以实现模型参数(即权重和偏见)的无限更改。然后,我们以两种不同的方式演示了这种方法的实用性。首先,我们分析了文献中许多CFX生成方法的{\ delta} - 固定性,并表明它们在这方面一致占据了明显的缺陷。其次,我们演示了如何在现有方法中嵌入{\ delta} - bobustness可以提供可证明可靠的CFX。
translated by 谷歌翻译
最近的工作表明了与解释一致的问题,其方法生成了局部解释,这些解释在实例方面似乎是合理的,但在整个实例中都是不一致的。这不仅表明实例解释可能是不可靠的,而且主要是,当通过多个输入与系统交互时,用户实际上可能会失去对系统的信心。为了更好地分析此问题,在这项工作中,我们将解释视为可能受到推理的对象,并通过输入,输出和解释的序列,对用户和系统之间的交互式场景进行正式模型。我们认为,可以将解释视为承诺某种模型行为(即使只有表面上的表面),这表明了一种形式,我们认为应该将其视为非单调的。这允许:1)在解释中解决了一些考虑的不一致之处,例如通过特异性关系; 2)考虑非单调推理文献中的属性并讨论其可取性,从而对互动解释方案有了更多的了解。
translated by 谷歌翻译
最近的研究表明,神经网络有可能改善经典生存模型,例如COX模型,Cox模型广泛用于临床实践。但是,神经网络通常依赖于中心可用的数据,而医疗保健数据经常在安全筒仓中保存。我们提出了一个联合的COX模型,该模型可容纳此数据设置并放松比例危害假设,从而允许时间变化的协变量效应。在后一方面,我们的模型不需要明确的时间变化效果,而与以前的工作相比降低了前期组织成本。我们尝试使用公开可用的临床数据集,并证明联合模型能够像标准模型一样执行。
translated by 谷歌翻译
当前的大多数解释性技术都集中在捕获输入空间中特征的重要性。但是,鉴于模型和数据生成过程的复杂性,由此产生的解释远非“完整”,因为它们缺乏特征相互作用和可视化其“效应”的指示。在这项工作中,我们提出了一个新颖的双流式解释性框架,以解释任何基于CNN的图像分类器(架构不考虑)做出的决定。为此,我们首先将潜在特征从分类器中解开,然后将这些功能与观察到的/人为定义的“上下文”功能保持一致。这些对齐特征形成了具有语义上有意义的概念,用于提取描述“感知”数据生成过程的因果图,描述了未观察到的潜在特征和观察到的“上下文”特征之间的功能间和内部内部和内部内部相互作用。该因果图是一个全局模型,可以从中提取不同形式的局部解释。具体而言,我们提供了一个生成器来可视化潜在空间中特征之间交互的“效果”,并从其作为局部解释中提取特征的重要性。我们的框架利用对抗性知识蒸馏来忠实地从分类器的潜在空间中学习表示形式,并将其用于提取视觉解释。我们使用带有附加正规化术语的stylegan-v2体系结构来执行分解和对齐。我们证明并评估了通过关于Morpho-Mnist和FFHQ人脸数据集获得的解释。我们的框架可在\ url {https://github.com/koriavinash1/glance-explanations}上获得。
translated by 谷歌翻译
\ emph {black-box}模型的说明有助于我们了解模型决策,并提供有关模型偏见和不一致之处的信息。当前的大多数解释性技术通常就特征重要性得分或输入空间中的特征注意图提供了单一的解释。我们的重点是从细粒度到完全抽象的解释中解释\ emph {多个级别的抽象}处的深层歧视模型。我们通过使用\ emph {双曲几何}的自然特性来更有效地对符号特征的层次结构进行建模,并生成\ emph {层次结构符号规则}作为解释的一部分。具体而言,对于任何给定的深层歧视模型,我们通过使用矢量定量对连续的潜在空间的离散化来提炼基础知识,以形成符号,然后是\ emph {双曲线推理块},以诱导\ emph {抽象{抽象树}。我们遍历树以根据符号规则及其相应的视觉语义提取解释。我们证明了我们方法对MNIST和AFHQ高分辨率动物面孔数据集的有效性。我们的框架可在\ url {https://github.com/koriavinash1/symbolicinterpretability}中获得。
translated by 谷歌翻译
自动错误通常涉及培训数据和学习过程,调试机器学习模型很难。如果我们没有关于模型如何实际工作的线索,这变得更加困难。在这项调查中,我们审查了利用解释的论文使人类提供反馈和调试NLP模型。我们称这个问题解释为基础的人类调试(EBHD)。特别是,我们沿着EBHD的三个维度(错误上下文,工作流程和实验设置)分类和讨论现有工作,编译EBHD组件如何影响反馈提供商的调查结果,并突出可能是未来的研究方向的打开问题。
translated by 谷歌翻译
数据探索是每个数据科学和机器学习项目的重要步骤,包括涉及文本数据的项目。我们以公开可用的Python库的形式提供一种新颖的语言工具,用于从文本数据中提取模式。该图书馆集成了现有的GRASP算法的首次公开实施。它允许用户使用多种通用内置的语言属性(例如HyperNyms,eart语音标签和句法依赖性标签)提取图案,如原始算法所设想的,以及特定领域的自定义可以通过实现两个函数将可以合并到库中的属性。该库配备了一个基于Web的接口,授权人类用户通过提取的模式方便地探索数据,并使用以模式为中心的互补图案和示例视图:前者包括每种提取模式的自然语言和统计信息;后者显示了每种提取模式在训练示例中的应用。我们证明了库在分类(垃圾邮件检测和参数挖掘),模型分析(机器翻译)和数据集中的伪影发现(SNLI和20newSgroups)中的有用性。
translated by 谷歌翻译
Artificial intelligence (AI) in the form of deep learning bears promise for drug discovery and chemical biology, $\textit{e.g.}$, to predict protein structure and molecular bioactivity, plan organic synthesis, and design molecules $\textit{de novo}$. While most of the deep learning efforts in drug discovery have focused on ligand-based approaches, structure-based drug discovery has the potential to tackle unsolved challenges, such as affinity prediction for unexplored protein targets, binding-mechanism elucidation, and the rationalization of related chemical kinetic properties. Advances in deep learning methodologies and the availability of accurate predictions for protein tertiary structure advocate for a $\textit{renaissance}$ in structure-based approaches for drug discovery guided by AI. This review summarizes the most prominent algorithmic concepts in structure-based deep learning for drug discovery, and forecasts opportunities, applications, and challenges ahead.
translated by 谷歌翻译
We present temporally layered architecture (TLA), a biologically inspired system for temporally adaptive distributed control. TLA layers a fast and a slow controller together to achieve temporal abstraction that allows each layer to focus on a different time-scale. Our design is biologically inspired and draws on the architecture of the human brain which executes actions at different timescales depending on the environment's demands. Such distributed control design is widespread across biological systems because it increases survivability and accuracy in certain and uncertain environments. We demonstrate that TLA can provide many advantages over existing approaches, including persistent exploration, adaptive control, explainable temporal behavior, compute efficiency and distributed control. We present two different algorithms for training TLA: (a) Closed-loop control, where the fast controller is trained over a pre-trained slow controller, allowing better exploration for the fast controller and closed-loop control where the fast controller decides whether to "act-or-not" at each timestep; and (b) Partially open loop control, where the slow controller is trained over a pre-trained fast controller, allowing for open loop-control where the slow controller picks a temporally extended action or defers the next n-actions to the fast controller. We evaluated our method on a suite of continuous control tasks and demonstrate the advantages of TLA over several strong baselines.
translated by 谷歌翻译